#Retrieval Evaluation

4 篇

Assessing the Downstream Utility of Evidence-Aware Retrieval in RAG

评估 RAG 中证据感知检索的下游效用

🧭 RAG 检索评估有效性

Missouri University of Science and Technology · University of Calcutta

证据感知检索信号会改变排序，但不总能改进训练、系统选择或答案质量预测

📌 工作参考价值（3 点）

在 RAG / Agent 检索链路中，不要把 evidence-aware retrieval 分数直接当作系统选择或生成质量的金标准；排序变化不等于下游效果提升，需要按具体生成器指令和评估器验证。
若用 evidence support 信号做检索器训练或证据过滤，收益高度依赖生成器如何使用证据；建议在业务侧做线上 A/B，并统一答案评估口径，避免单一 LLM judge 结论误导决策。
电商 / 导购 Agent 若引入证据感知过滤，应同时监控答案侧业务指标（如转化、满意度、人工审核），不能只看证据保留率或检索分数。

Eval | 2026-08-26 | cs.IR | score 6/10

静态检索效用无法预测多步 Agent 搜索中的因果效用

🧭 多步 Agent 搜索中的检索效用评估

University of Calcutta · Missouri University of Science and Technology

在多步 Agent 搜索中，静态低相关文档可能通过提供区分性实体成为关键的“桥梁证据”，静态效用与因果效用近乎独立。

📌 工作参考价值（4 点）

Agent | 2026-07-16 | cs.IR | score 7/10

评估LLM生成元数据在RDF数据集搜索中的忠实性与可检索性

🧭 生成式元数据评估 · 检索效果与忠实性权衡

University of Southern Denmark

无约束LLM改写元数据检索效果最好但忠实性最差，基于概貌的改写提供最佳平衡

📌 工作参考价值（4 点）

Eval | 2026-07-07 | cs.IR | score 6/10

将 Agentic Search 引入地球观测数据发现

🧭 Agent 驱动的搜索与重排序 ★ 深度解读

University of Maryland, College Park · University of Florida

利用论文-数据集引用图构建超大评估集，并通过 NN-SSC 域修正+BM25 融合及 Agentic 工具调用将检索精确率提升超 5 倍

📌 工作参考价值（4 点）

借鉴引用图谱构造评估集：如将用户实际购买/点击的物品作为 silver label，构建百万级 query-item 对，低成本获得高质量的离线评测数据。
NN-SSC 轻量域适应：冻结通用 Encoder，仅训练一个 3 层 MLP 头（46 万参数）修正域偏移，可快速部署到任何已有向量召回服务上，成本极低。
混合检索的解析融合权重：利用训练集上各检索支路的性能之比（π_n/(π_ℓ+π_n)）自动计算融合系数 α，无需网格搜索，直接用于 BM25+向量分数的凸组合。
Agentic 重排序提升 GMV：在候选集确定后，让 LLM 自主调用商品百科、用户问答、外部网页等工具补充上下文，可有效解决长尾 query 和歧义商品的排序问题，尤其适合高客单价决策场景。

Agent | 2026-07-02 | cs.IR | score 8/10